室町時代中期、波多野清秀が石見国（島根県）から上京して、室町幕府の管領、細川勝元に仕え、応仁の乱に際して各地で軍功をあげ、細川政元の時に多紀郡を与えられた。清秀の子稙通の代になって、永正年間（1504〜21）に八上奥谷に蕪丸城を構え、続いて浅路山（高城山）に八上城を築いたと考えられる。その後、波多野氏は元秀・秀忠・晴道・秀治と続き主として八上城を本城として活躍し、蕪丸城はその根城的な役割を持ち、奥谷城とも呼ばれるようになった。蕪丸城は浅路山（標高459ｍ）から南へ派生した尾根の先端、東西150ｍ、南北200ｍの範囲の頂上部が詰城で西斜面を造成して館を造り、堀切、縦堀、館背後の水場施設などの城郭遺構が良く残っている。平成8年2月〜3月にかけて道路改良工事に伴う発掘調査の結果、蕪丸城跡の大手虎口付近で幅約10ｍの水濠遺構が発見されたことから、八上城側の堀切と東仙寺川さらに人工的な水濠によって城郭の防御が固められていた状況が明らかになった。